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(54) Verfahren zum Visualisieren eines raumlich aufgelosten Datensatzes 



(57) Bei einem Verfahren zum Visualisieren eines 
raumlich aufgelosten Datensatzes. dessen Daten je- 
weils einem Volumenelement zugeordnet sind, dessen 
Lage durch Koordinaten in einem nicht-kartesischen 



Mess-Koordinatensystem beschrieben wird, werden die 
Daten M(r k ,Aj,Z| t ) als Texturen (Tr k ,T#j t TZj) in einen Gra- 
fikbeschleuniger (1 ) geladen und dann wird durch Uber- 
lagerung von Texturen (Tr k ,T0j,TZj) eine bildliche Dar- 
stellung erzeugt. 



M(r k ,«|.2j) 



Fig.2 
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Beschreibung 

[0001] Die Erfindung betrifft ein Verfahren zum Visua- 
lisieren eines raumlich aufgelosten Datensatzes ge- 
mass dem Oberbegriff des unabhangigen Anspruchs 
sowie die Verwendung dieses Verfahrens zum Generie- 
ren dreidimensionaler Darstellungen eines Korpers. 
[0002] Die Visualisierung eines raumlich aufgelosten 
Datensatzes durch bildliche Darstellungen entspricht in 
vielen technischen und industriellen Bereichen aber 
auch in der modernen medizinischen Diagnostik und 
Therapie einem standig wachsenden Bedurfnis. Zahl- 
reiche bildgebende Untersuchungsmethoden wie z. B. 
Computertomographie, Kemspintomographie oder 
Bildgebung mittels Ultraschall, bei denen anhand von 
messtechnisch erfassten Datensatzen Darstellungen 
von Organen oder Bereichen des menschlichen Kor- 
pers erstellt werden, werden in der modernen Medizin 
mit grossem Erfolg eingesetzt. 

[0003] Als ein Anwendungsbeispiel sei hier die 
transdsophagale Herzabbildung mittels Ultraschall ge- 
nannt, die hauptsachlich zu Diagnosezwecken einge- 
setzt wird. Viele der heute ublichen Ultraschallsysteme 
erzeugen jedoch nur zweidimensionale Bilder und es ist 
oft selbst fur Spezialisten sehr schwierig, anhand sol- 
cher zweidimensionaler Bilder die dreidimensionale 
Anatomie zu analysieren. Deshalb werden grosse An- 
strengungen unternommen, die Anatomie mittels drei- 
dimensionaler Ultraschallbilder darzustellen. 
[0004] Vom Stand der Technik sind auch schon sol- 
che Ultraschallsysteme bekannt, die dreidimensionale 
Bilder erzeugen. Dazu wird die abzubildende Anatomie, 
z. B. eine Herzkammer, zunachst bereichsweise mittels 
Ultraschall abgetastet und anschliessend aus den der- 
ail erhaltenen Echosignalen in einer Datenverarbei- 
tungsaniage ein dreidimensionales Bild rekonstruiert. 
[0005] Ein wesentlicher Nachteil dieser bekannten 
3D-Ultraschallsysteme besteht darin, dass die Zeit : die 
zur Erstellung eines dreidimensionalen Bildes mit aus- 
reichender raumlicher Auflosung benotigt wird, relativ 
lang ist. Mit bekannten 3D-Systeme ist man noch weit 
von den Videofrequenzen und ihren Bildaufbauzeiten 
von typischerweise 1/25 Sekunden entfernt, sodass 
sich keine bewegten Darstellungen erzielen lassen. Fur 
Anwendungen wie beispielsweise die Navigation oder 
Lokalisierung von innerhalb des Korpers benotigten In- 
strumenten, z. B. Herzkathetern zur Ablation von Reiz- 
leitungen im Herzen oder anderer wenig-invasiver In- 
strumente, sind derart lange Zeiten fur die Bilderstellung 
unbefriedigend, weil sie dem Bedurfnis einer schnellen 
und genauen Lokalisierung der momentanen Lage der 
Instruments im Korper entgegenstehen. Dies gilt insbe- 
sondere fur solche Fade, bei denen sich das untersuch- 
te oder behandelte Korperteil bewegt, beispielsweise 
bei Eingriffen oder Untersuchungen am schlagenden 
Herzen. 

[0006] Bei der Verwendung sehr modemer Abtastsy- 
steme ist die relativ lange Zeit, die zur Erstellung einer 



2 

dreidimensionalen Abbildung benotigt wird, weniger 
durch die Datenaquisition an sich verursacht, sondern 
durch die Visualisierung des Datensatzes, das heisst 
das Erzeugen einer bildlichen Darstellung aus dem 

s raumlich aufgelosten Datensatz. Es sind namlich be- 
reits sehr schnell abtastende Ultraschallsonden entwik- 
kelt worden, mit denen das interessierende Volumen in 
mehreren Ebenen gleichzeitig abgetastet wird. Solche 
Ultraschallsonden umfassen beispielsweise mehrere 

io schwenkbare, linear oder allgemeiner in einem Array 
angeordnete Ultraschallwandler, von denen mehrere 
parallel betrieben werden, sodass sie ein gieichzeitiges 
Abtasten mehrerer Ebenen ermoglichen. Hierdurch 
werden die Datensatze fur die Bildgebung sehr schnell 

is bereitgestellt. 

[0007] Die heute fur die dreidimensionale Darstellung 
von raumlich aufgelosten Datensatzen verwendeten 
Verfahren und Algorithmen sind jedoch sehr rechenin- 
tensiv und fQhren selbst bei der Verwendung sehr 

20 schneller und leistungsfahiger Computer zu Erstel- 
lungszeiten fur eine einzelne dreidimensionale Abbil- 
dung, die im Sekundenbereich liegen. Solche bekann- 
ten Verfahren sind daher fur Echtzeitanwendungen 
nicht geeignet. 

25 [0008] Ausgehend von diesem Stand der Technik, ist 
es daher eine Aufgabe der Erfindung, ein besonders 
schnelles Verfahren zum Visualisieren eines raumlich 
aufgelosten Datensatzes bereitzustellen. Im speziellen 
soli es das Verfahren ermoglichen, aus einen raumlich 

30 aufgelosten Datensatz, welcher die volumenauf geloste 
Abtastung eines Korpers reprasentiert, in deutlich kur- 
zerer Zeit eine dreidimensionale Darstellung des Kor- 
pers zu erzeugen. 

[0009] Das diese Aufgaben losende Verfahren zum 
35 Visualisieren eines raumlich aufgelosten Datensatzes 
ist durch die Merkmale des unabhangigen Anspruchs 
gekennzeichnet. 

[0010] Erfindungsgemass wird also ein Verfahren 
zum Visualisieren eines raumlich aufgelosten Datensat- 

40 zes vorgeschlagen, dessen Daten jeweils einem Volu- 
menelement zugeordnet sind, dessen Lage durch Ko- 
ordinaten in einem nicht-kartesischen Mess-Koordina- 
tensystem beschrieben wird, bei welchem die Daten als 
Texturen in einen Grafikbeschleuniger geladen werden 

45 und dann durch Oberlagerung von Texturen eine bildli- 
che Darstellung erzeugt wird. 

[0011] Durch diese Massnahmen wird das erfin- 
dungsgemasse Verfahren enorm schnell, denn dem 
Grafikbeschleuniger muss fur jede darzustellende Tex- 

$o tur nur noch ubermitteit werden, bei welchen Koordina- 
ten einer Ausgabeeinheit, beispielsweise eines Bild- 
schirms, die Eckpunkte der Textur zu liegen kommen. 
Der Grafikbeschleuniger stellt dann die entsprechende 
Textur perspektivisch korrekt zwischen diesen Eck- 

55 punkten dar. Dies bringt eine drastische Reduzierung 
des Rechenaufwands mit sich. Durch Uberlagern der 
einzelnen darzustellenden Texturen lasst sich somit in 
sehr kurzer Zeit eine bildliche Darstellung des Daten- 
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satzes erzeugen. Zudem 1st es nicht notwendig, den 
darzustellenden Oatensatz in ein kartesisches Koordi- 
natensystem uberzufuhren, d. h. ein "Resampling' des 
Datensatzes durchzuf Ohren, bevor die Daten als Textu- 
ren in den Grafikbeschleuniger geladen werden. Dies 
bedeutet eine weitere Reduzierung des Rechenauf wan- 
des und damit einen zusatzlichen Zeitgewinn. Durch 
den Verzicht auf eine Transformation in kartesische Ko- 
ordinaten wird ferner das dreidimensionale Oversam- 
pling vermieden, das insbesondere bei einer Transfor- 
mation von krummlinigen Koordinaten, wie Zylinder- 
oder Kugelkoordinaten in kartesische Koordinaten zu 
einer Vervielfachung der Daten und damit zu einer deut- 
lichen Erhohung des Rechen-, Speicher- und Zeitauf- 
wands fun it 

[0012] Durch den gezielten Einsatz des Grafikbe- 
schleunigers erlaubt das erfindungsgemasse Verfahren 
einen deutlich rascheren Aufbauder bildlichen Darstel- 
lung als bisher bekannte Verfahren zum Visualisieren 
raumlich aufgeldster Datensatze. Dies ist insbesondere 
fur solche Anwendungen von Vorteil, bei den en die Da- 
tensatze aktuelle volumenaufgeloste Messwerte sind 
bzw. auf solchen basieren und diese Messwerte in mog- 
lichst kurzer Zeit in eine dreidimensionale Darstellung 
transformiert werden mussen. Das erfindungsgemasse 
Verfahren ermoglicht namlich eine Visualisierung dieser 
Messwerte und damit eine Visualisierung dreidimensio- 
naler Strukturen in Echtzeit. So kann beispielsweise ei- 
ne kontinuierliche und stets aktuelle dreidimensionale 
Ansicht eines schlagenden Herzens realisiert werden, 
indem die von einer Ultraschallsonde erfassten volu- 
menaufgelosten Messsignale mittels des erfindungsge- 
massen Verfahrens als dreidimensionale Darstellungen 
auf einen Bildschirm abgebildet werden. Das erfin- 
dungsgemasse Verfahren ist aufgrund des Grafikbe- 
schleunigers so schnell, dass Bildraten von einigen 
zehn Bildern, beispielsweise zwanzig Bildern, pro Se- 
kunde realisierbar sind. 

[0013] Ein weiterer Vorteil des erfindungsgemassen 
Verfahrens liegt darin, dass es sehr kostengunstig ist, 
denn es lasst sich mit handelsublichen Grafikbeschleu- 
nigem ohne zusatzlich apparativen Aufwand durchfuh- 
ren. 

[0014] Ein weiterer Vorteil des erfindungsgemassen 
Verfahrens ist es, dass es nicht an ein spezielles Koor- 
dinatensystem gebunden ist, in dem derdarzustellende 
Datensatz vorliegen muss, und somit sehr flexibel ist. 
Das Verfahren ist fur alle lokal orthogonalen Koordina- 
tensystem geeignet, in denen raumlich aufgeloste Da- 
tensatze normalerweise vorliegen. Daher werden vor- 
zugsweise die Daten im ursprunglichen Mess-Koordi- 
natensystem, das heisst ohne dass sie in ein anderes 
Koordinatensystem umgerechnet werden, in den Gra- 
fikbeschleuniger geladen, denn diss spart Rschen- und 
Zeitaufwand und ist mit weniger Fehlern behaftet, weil 
kein Resampling erforderlich ist. 

[0015] Sind die Daten beispielsweise Messwerte, 
welche aus einer volumenauf gelosten Abtastung eines 



Korpers resultieren, so ist das Mess-Koordinatensy- 
stem, in welchem die Messwerte vorliegen, normaler- 
weise durch die verwendete Abtastvorrichtung bzw. de- 
ren Funktionsweise, vorgegeben. Bei Ultraschallson- 

s den, z. B., ist das Mess-Koordinatensystem typischer- 
weise ein Zylinderkoordinatensystem. Mit dem erfin- 
dungsgemassen Verfahren konnen aber auch Daten- 
satze, die in anderen, insbesondere in lokal orthogona- 
len Koordinatensystemen vorliegen, dargestellt wer- 

10 den, ohne dass die Daten vorher in ein kartesisches 
System ubergefuhrt werden mOssen. Das Verfahren ist 
daher sehr flexibel und eignet sich fur eine Vielzahl von 
Abtastsystemen, wobei vorzugsweise die Daten jeweils 
in dem Mess-Koordinatensystem als Texturen in den 

15 Grafikbeschleuniger geladen werden, indem sie mess- 
technisch erfasst wurden. Dieses Mess-Koordinatensy- 
stem ist Oblicherweise durch die jeweilige Abtastvorrich- 
tung vorgegebenen. 

[0016] Vorzugsweise werden die Texturen derart an 

20 das Mess-Koordinatensystem angepasst, dass inner- 
halb einer Textur jeweils eine der Koordinaten des 
Mess-Koordinatensystems einen konstanten Wert hat. 
Dann entspricht jede Textur einer solchen durch den Da- 
tensatz reprasentierten Flache, auf der eine der Koor- 

2S dinateh des Mess-Koordinatensystems einen konstan- 
ten Wert hat. Ferner ist es vorteilhaft, wenn im Grafik- 
beschleuniger fur jede Koordinate des Mess-Koordina- 
tensystems jeweils ein Satz von Texturen angelegt wird, 
wobei innerhalb der Texturen, die zum gleichen Satz ge- 

30 nor en, jeweils die gleiche Koordinate des Mess-Koordi- 
natensystems einen konstanten Wert hat. Beispielswei- 
se werden fur eine x^ -Koordinate des Mess-Koordina- 
tensystems mehrere x^ -Texturen angelegt. Die Daten 
innerhalb einer x 1 -Textur gehoren jeweils alle zu dem 

35 gleichen Wert fur die x., -Koordinate des Mess-Koordi- 
natensystems, wahrend sich Daten, die zu zwei ver- 
schiedenen x 1 -Texturen gehoren, durch den Wert der 
x 1 -Koordinate unterscheiden, zu denen die Daten ge- 
horen. Der gesamte Satz der x^Texturen reprasentiert 

40 dann eine Mehrzahl von topologisch bezuglich dieser 
Koordinate x^ geordneten Flachen, auf denen jeweils 
die Koordinate x 1 einen konstanten Wert hat. Durch die- 
se Massnahme sind die Texturen an die Symmetrie des 
Mess-Koordinatensystems angepasst. wodurch das Er- 

45 zeugen der bildlichen Darstellung einfacher wird und ei- 
nen geringeren Rechenaufwand erfordert. 
[0017] Zum Erzeugen der bildlichen Darstellung wer- 
den vorzugsweise alle Satze von Texturen herangezo- 
gen, beispielsweise werden die Texturen aller Satze 

so gleichzeitig auf der Ausgabeeinheit projiziert, das heisst 
sie werden im selben Bild dargestellt, wobei ihre Inten- 
sitatsbeitrage summiert werden. 

[0018] Vorzugsweise werden die mittels einer Textur 
gGnerierten Flachen der bildlichen Darstellung jeweils 
55 bezuglich Ihrer Intensitat mit einem Faktor gewichtet, in 
welchen die Orientierung der Flache relativ zu der Be- 
trachtungsrichtung eingeht. Durch eine solche trigono- 
metrische Gewichtung lassen sich unerwunschte Strei- 



5 



EP 1 059 612 A1 



6 



fenmuster in der bildiichen Darstellung deullich reduzie- 
ren, welche durch die Abstande zwischen den Texturen 
zustande kommen. 

[0019] Eine weitere vorteilhafte Massnahme besteht 
darin, dass Texturen, die einer gekrummten oder 
knjmmlinig begrenzten Flache entsprechen, in Subtex- 
turen aufgeteilt werden. Das bedeutet, dass diejenigen 
Koordinaten des Mess-Koordinatensystems, die Kur- 
ven oder KrOmmungen beschreiben, beispielsweise 
Winkelkoordinaten, lokal linearisiert werden. Die Fla- 
chen, die senkrecht auf der Richtung stehen, welche 
durch die lokal linearisierte Koordinate beschrieben 
wird, sind gekrummte Flachen. Durch die lokale Linea- 
risierung werden solche Flachen durch eine Mehrzahl 
ebener n-Ecke, z. B. Vierecke, approximiert dargestellt. 
[0020] Um insbesondere bei semi-transparenten Dar- 
stellungen einen mdglichst realistischen Tiefeneindruck 
in der Darstellung zu erzeugen, werden die einzelnen 
Texturen bevorzugt mit einer Tiefenabschwachung ver- 
sehen dargestellt 

[0021] Zur weiteren Reduzierung der Streitenbildung 
in der erzeugten Darstellung ist es ferner vorteilhaft, 
wenn an den jeweils eine Kantenlinie bildenden Ran- 
dern von Texturen, die zum gleichen Satz von Texturen 
gehoren, eine Abschlusstextur als Hulle aufgebracht 
wird, welche diese Rander verbindet und in der Darstel- 
lung eine Modulation zwischen benachbarten Kantenli- 
nien bewirkt. Durch diese Massnahme wird berucksich- 
tigt, dass je nach Betrachtungsrichtung bzw. Perspekti- 
ve die Rander bzw. Kanten der einzelnen Texturen nicht 
mehr Obereinander liegen. Dies fuhrt zu Intensitats- 
sprOngen in der Darstellung, weil in verschiedenen Bild- 
bereichen eine unterschiedliche Anzahl Texturen sicht- 
bar ist, oder anders ausgedruckt: der Beobachter 
schaut in verschiedenen Bildbereichen durch eine un- 
terschiedliche Anzahl von Texturen. Die hierdurch ver- 
ursachten Streifenmusteran den Ubergangen zwischen 
verschiedenen Anzahlen von Texturen lassen sich 
durch die Massnahme der modulierten Abschlusse, das 
heisst, das Aufbringen der Abschlusstexturen, wir- 
kungsvoll unterbinden. 

[0022] Bevorzugt steht die Abschlusstextur senkrecht 
auf den Randern des an sie angrenzenden Satzes von 
Texturen, und enthalt die Kantenlinien der an sie an- 
grenzenden Texturen und bewirkt eine lineare Interpo- 
lation der Heliigkeit zwischen benachbarten Kantenlini- 
en. Dies lasst sich insbesondere dadurch realisieren, 
dass die Abschlusstextur erzeugt wird, indem die Kant- 
entenlinien der angrenzenden Texturen identtsch in die 
Abschlusstextur Obemommen werden und vor jeder 
dieser Kantenlinien eine Linie der Heliigkeit Null einge- 
fugt wird. Dies ist eine besonders einfache und effiziente 
Methode zum Generieren der Abschlusstexturen, weil 
sie keinen zusatzlichen Rechenaufwand mit sich bring!. 
Die Funktion der linearen Interpolation, auch als linea- 
res shading bezeichnet, zu der jeder Grafikbeschleuni- 
ger fahig ist, wird dann dazu genutzt, die modulierten 
Abschlusse ohne zusatzlichen Aufwand zu realisieren. 



[0023] Das erfindungsgemasse Verfahren eignet sich 
insbesondere fur Datensatze, bei wetchem das Mess- 
Koordinatensystem ein Zylinder- oder ein Kugelkoordi- 
natensystem ist. Diese Koordinatensysteme stellen 
5 wichtige Anwendungen dar, weil viele der heute Gbli- 
chen Abtastvorrichtungen in diesen Koordinatensyste- 
men arbeiten. 

[0024] In einer bevorzugten Anwendung des Verfah- 
rens basiert der Datensatz auf Messwerten, welche die 

10 volumenaufgeloste Abtastung eines Korpers reprasen- 
tieren, und als bildliche Darstellung wird eine dreidimen- 
sionale, insbesondere semi-transparente, Darstellung 
des Korpers generiert. Aufgrund der enormen Schnel- 
ligkeit der Grafikbeschleuniger ermoglicht namlich das 

*s erfindungsgemasse Verfahren die Visualisierung sol- 
cher Datensatze in Echtzeit, wobei es grundsatzlich 
egal ist, mittels welchem Abtastverfahren der Datensatz 
generiert wurde. Der Datensatz kann beispielsweise auf 
Ultraschall-Messwerten basieren, welche reprasentativ 

20 fur die dreidimensionale Struktur eines Korpers sind. 
[0025] In einer bevorzugten Anwendung wird das er- 
findungsgemasse Verfahren zum schnellen Generieren 
dreidimensionaler Darstellungen eines Korpers, insbe- 
sondere eines menschlichen Korpers oder Teilen da- 

25 von, anhand von messtechnisch gewonnenen Abtast- 
daten verwendet. Im speziellen eignet sich das erfin- 
dungsgemasse Verfahren fur medizinische Zecke. 
Durch seine Schnelligkeit, mit der eine dreidimensiona- 
le Echtzeit-Darstellung raumlich aufgeloster Datensat- 

30 ze realisierbar ist, ermoglicht das erfindungsgemasse 
Verfahren beispielsweise eine kontinuierliche, stets ak- 
tuelie dreidimensionale Darstellung von Organen des 
menschlichen Korpers, z. B. des schlagenden Herzens. 
Dies ist ein erheblicher Fortschritt fur therapeutische 

35 oder diagnostische Prozeduren, bei welchen Instru- 
mente, wie beispielsweise Katheter, im Innem eines 
menschlichen Oder tierischen Korpers bzw. Organs lo- 
kalisiert und navigiert werden mussen. 
[0026] Aber auch in anderen technischen Bereichen, 

40 z. b. bei der Darstellung von Radar-Messdaten, bei 
Fernabtastungen oder in der Materialprufung kann das 
erfindungsgemasse Verfahren vorteilhaft verwendet 
werden. 

[0027] Weitere vorteilhafte Massnahmen und bevor- 
45 zugte AusfOhrungsformen der Erfindung ergeben sich 
aus den abhangigen Anspruchen. 
[0028] Im Folgenden wird die Erfindung anhand der 
Zeichnung und anhand von Ausfuhrungsbeispielen na- 
her erlautert. In der schematischen, nicht massstabli- 
50 chen Zeichnung zeigen: 

Fig. 1: eine Veranschaulichung eines Messvolu- 
mens und eines raumlich aufgelosten Da- 
tensatzcs, 

55 

Fig. 2: eine schematische Darstellung eines Aus- 
f uhrungsbeispiels des erfindungsgemassen 
Verfahrens, 
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Fig. 3: eine durch eine z-Textur reprasentierte Fla- 
che des Messvolumens, 

Fig. 4: eine durch eine r-Textur reprasentierte Fla- 
che des Messvolumens, 

Fig. 5: eine durch eine d-Textur reprasentierte Fla- 
che des Messvolumens, 

Fig. 6: eine Veranschaulichung einer Kompaktie- 
rung von r-Texturen, 

Fig. 7: eine Veranschaulichung der Linearisierung 
der d-Koordinate, und 

Fig. 8: eine Veranschaulichung eines modulierten 
Abschlusses. 

[0029] Mit dem erfindungsgemassen Verfahren wird 
ein raumlich aufgeloster Datensatz visualisiert, dessen 
Daten jeweils einem Volumenelement zugeordnet sind, 
dessen Lage durch Koordinaten in einem nicht-kartesi- 
schen Mess-Koordinatensystem beschrieben wird. Un- 
ter einem raumlich aufgeldsten Datensatz wird ein En- 
senmble von Daten verstanden, die in der Form M(x 1t 
x 2 ,x 3 ) vorliegen, wobei x v x 2 und x 3 die Koordinaten ei- 
nes Volumenelements im Mess-Koordinatensystem 
sind und M(x 1 ,x 2 ,x 3 )den Wert einer Grosse bezeichnet, 
der fur dieses Volumenelement reprasentativ ist. Dieser 
Wert kann eine messtechnisch erfasste Grosse Oder ei- 
ne sonstige Information Ober das zugehdrige Volumen- 
element sein. Grundsatzlich ist es f Or das erfindungsge- 
masse Verfahren egal, wie der raumlich aufgeloste Da- 
tensatz erstellt wurde. 

[0030] Im Folgenden wird mit beispieihaftem Charak- 
ter auf den fur die Praxis wichtigen Fall Bezug genom- 
men, dass die Daten M(x 1 ,x 2 ,x 3 ) auf Messwerten beru- 
hen, die aus einer volumenaulgelosten Abtastung eines 
Korpers resuStieren, und dass aus diesen Daten eine 
dreidimensionale bildliche Darstellung dieses Korpers 
erzeugt werden soli. Mit "dreidimensionaler Darstel- 
lung" ist dabei gemeint, dass die Darstellung tatsachlich 
dreidimensional ist, oder, dass sie zwar eben ist, aber 
einen dreidimensionalen Eindruck vermittelt, z. B. mit- 
tels Methoden der raumlichen oder perspektivischen 
Darstellung oder der Projektion. Insbesondere konnen 
solche Darstellungen semi-transparent sein, sodass sie 
einen Einblick in den abgetasteten Korper gestatlen. 
Auch sind solche ebenen Darstellungen, beispielsweise 
auf einem Bildschirm, gemeint, die bei Betrachtung mit- 
tels Hilfsvorrichtungen, wie beispielsweise einer Stereo- 
Brille, einen dreidimensionalen Eindruck vermitteln. 
[0031] Im Folgenden wird die Erfindung anhand eines 
Ausf uh rungsbsispiels erlautsrt, bei welchem dsr Daten- 
satz auf Ultraschallmesswerten, typischerweise Echo- 
signalen, basiert, die aus einer Ultraschallabtastung des 
abzubildenden Korpers resultieren. Der abzubildende 
Korper ist beispielsweise ein Herz, das mittels einer ge- 



eigneten Ultraschall sonde transosophagal abgetastet 
wurde. In Fig. 1 ist eine solche Ultraschallsonde ange- 
deutet und mit dem Bezugszeichen 10 bezeichnet. Sie 
umfasst beispielsweise mehrere Ultraschallwandler .11, 
s von denen mehrere bezOglich einer z-Achse benaeh- 
bart zueinander angeordnet sind. Wahrend des Be- 
triebs wird die Ultraschallsonde um die Richtung der z- 
Achse geschwenkt oder rotiert, wie dies der Doppelpfeil 
D in Fig. 1 andeutet Dabei werden die einzelnen Ultra- 
10 schallwandler 11 im wesentlichen parallel betrieben, so- 
dass das Herz gleichzeitig in mehreren parallelen 
Schichten, die jeweils senkrecht zur z-Achse liegen, 
Ober einen Winkelbereich oder Sektor mit Ultraschall 
abgetastet wird. Die Information bezOglich der dritten 
is Dimension wird aus den Laufzeiten der Echosignale ge- 
wonnen. Die so gewonnenen volumenaulgelosten 
Messwerte liegen dann, gegebenenfalls nach einer si- 
gnaltechnischen Vorverarbeitung, als ein raumlich auf- 
geloster Datensatz vor, der die Informationen bezOglich 
20 der abzubildenden Struktur enthalt. 

[0032] Durch die Ultraschallsonde 10 bzw. deren Ar- 
beitsweise ist das Mess-Koordinatensystem, das heisst 
das Koordinatensystem, in welchem die Messwerte er- 
fasst werden, vorgegeben. In dem hier beschriebenen 
25 Beispiel handelt es sich um ein Zylinderkoordinatensy- 
stem mit den Koordinaten z, # und r. Dabei bezeichnet 
z die Koordinate bezOglich der z-Achse, # als Winkel- 
koordinate den Azimutwinkel, der den Drehwinkel des 
Ultraschallwandlers 11 beschreibt, und r den radialen 
30 Abstand von der z-Achse. Das gesamte abgetastete 
Messvolumen MV ist ein Segment eines Kreiszylinders, 
wie es in Fig. 1 dargestellt ist. Die einzelnen diskreten 
Daten bzw. Messwerte M bilden in diesem Messvolu- 
men MV ein Raster, wobei jeder Messwert M reprasen- 
35 tativfOr ein Volumenelement des Messvolumens MV ist. 
In Fig. 1 sind beispielhaft nur einige der Messwerte M 
symbolisch durch die Punkteangedeutet. Die raumliche 
Lage dieses Volumenelements ist durch die Angabe sei- 
ner drei Koordinaten r, d, z charakterisiert. Da die Mess- 
40 werte M an diskreten raumlichen Punkten erfasst wer- 
den, konnen thre jeweiligen Koordinaten auch als In- 
dices r k , tfj, Zj aufgefasst werden, die das Volumenele- 
ment bezeichnen, welchem der jeweilige Messwert M 
zugeordnet ist. Abhangig von der ortlichen Auflosung 
45 des verwendeten Abtastsystems ist die Rasterung des 
Messvolumens MV grober oder feiner. Die Anzahl der 
Messwerte M in r-, fl-, und z-Richtung wird mit p, m und 
I bezeichnet, das heisst der Laufindex k fOr die r-Rich- 
tung lauft von 1 bis p, der Laufindex j fur die #-Richtung 
so lauft von 1 bis m und der Laufindex i fur die z-Richtung 
lauft von 1 bis I. Insgesamt umfasst der raumlich aufge- 
loste Datensatz M(r k ,flj,Zj) also p-m-l einzelne Daten, die 
jeweils f Or ein Volumenelement des Messvolumens MV 
r6prasentativ sind, und die gemsjnsam ein drsjdimen- 
55 sionales (pXmxl)-Array bilden. Ein solcher raumlich 
aufgeloster Datensatz M(r k ,dj,z jl ) dient bei dem hier be- 
schriebenen Beispiel als Ausgangspunkt fOr das erfin- 
dungsgemasse Verfahren. 
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[0033] Erfindungsgemass werden die Daten M(r k ,^, 
2j.) ats Texturen in einen Grafikbeschleuniger (graphics 
engine) geladen. Grafikbeschleuniger (graphics engi- 
nes) sind eine Oder mehrere Grafikkarten umfassende 
Systeme in eiektronischen Datenverarbeitungsanla- 
gen, die der grafischen Darsteliung aul einer Ausgabe- 
einheit, beispielsweise einem Bildschirm, dienen und 
die Primitive zeichnen konnen, womit gemeint ist, dass 
der Grafikbeschleuniger neben Punkten und Linien 
auch texturierte Polygone zeichnen kann. Eine Textur 
(texture map) ist ein im allgemeinen zweidimensionales 
Datenfeld, welches eine grafische Information uber eine 
Flache enthalt Die Textur reprasentiert eine Flache, die 
von einem n-eckigen Polygon, dem sogenannten Quell- 
polygon, beispielsweise einem Viereck, begrenzt wird. 
Ein Grafikbeschleuniger im Sinne dieser Anmeldung 
kann solche ebenen, zweidimensionale Polygone mit 
Textur perspektivisch richtig auf einen Bildschirm proji- 
zieren. Dazu mOssen dem Grafikbeschleuniger, bei- 
spielsweise von einem digitalen Signalprozessor (DSP) 
der Datenverarbeitungsanlage, lediglich die Bildschirm- 
koordinaten der n Eckpunkte der darzustellenden Fla- 
che vorgegeben werden, also die Bildschirmkoordina- 
ten der Eckpunkte des sogenannten Zielpolygons und 
der Grafikbeschleuniger projiziert dann die zugehorige 
Textur perspektivisch korrekt verzerrt so auf den Bild- 
schirm, dass die Ecken der darzustellenden Flache auf 
den vorgegebenen Bildschirmkoordinaten liegen. Die 
Anzahl der Ecken des Zielpolygons ist dabei immer die 
gleiche wie die des Quellpolygons, jedoch ist das Ziel- 
polygon - und damit die von ihm eingeschlossene Fla- 
che - im allgemeinen gegenuber dem Quellpolygon ver- 
zerrt, beispielsweise kann aus einem Quellpolygon, 
welches ein Quadrat ist, in der bildlichen Darsteliung auf 
dem Bildschirm ein Trapez als Zielpolygon werden. Be- 
kannte Grafikbeschleuniger projizieren eine diskrete 
Textur mittels Interpolation auf den Bildschirm. Im Han- 
del sind zahlreiche solcher Grafikbeschleuniger erhalt- 
lich, die beispielsweise in Personal Computern (PC) 
oder Workstations zum perspektivischen Darstellen von 
Objektoberflachen im Raum dienen. Beispielsweise ge- 
eignet sind die kommerziell erhaltlichen Grafikbe- 
schleuniger "Viper 550" von Diamond, "Velocity" von 
SBT, "Fury Rage" von ATI Oder "Voodoo III von 3dfx. 
Solche bekannten Grafikbeschleuniger konnen typi- 
scherweise mindestens 1 0 7 -1 0 8 Interpolationen pro Se- 
kunde durchfuhren. 

[0034] In Fig. 2 ist ein bevorzugtes Ausfuhrungsbei- 
spiel des erfindungsgemassen Verfahrens symbolisch 
veranschaulicht. Dabei ist mit dem Bezugszeichen 2 ei- 
ne elektronische Datenverarbeitungsanlage bezeich- 
net, welcher der Datensatz Mfr^-d^Zj,) zugefuhrt wer- 
den. Ein digitaler Signalprozessor 3 der Datenverarbei- 
tungsanlage 2 ersteilt aus den Daten M(r k ,#j,Zj,) in wel- 
ter hinten noch erlauterter Weise mehrere Texturen Tr k , 
Tdj, TZj, welche in einen Grafikbeschleuniger 1 geladen 
werden. Zur Erzeugung der bildlichen Darsteliung pro- 
jiziert der Grafikbeschleuniger 1 die Texturen Tr k , TV):, 



Tz, auf eine Ausgabeeinheit 4, beispielsweise einen 
Bildschirm. 

[0035] Erfindungsgemass werden also die Daten M 
(r k ,dj,Zj,) des raumlich aufgelosten Datensatzes alsTex- 

s turen Tr k , Tdj, TZj in den Grafikbeschleuniger 1 geladen. 
Es wird eine Betrachtungsrichtung vorgegeben, aus 
welcher der darzustellende Korper betrachtet werden 
soil, das heisst in der zu erzeugenden bildlichen Dar- 
steliung wird der Korper so abgebildet, wie es einem An- 

10 blick oder Einblick aus dieser Betrachtungsrichtung ent- 
spricht. Abhangigvon der vorgegebenen Betrachtungs- 
richtung werden dann mehrere Texturen perspektivisch 
korrekt auf den Bildschirm 4 projiziert und uberlagert. 
Dazu ist es - wie bereits erwahnt - jeweils nur notwendig, 

is die Eckpunkte der Textur perspektivisch zu transformie- 
ren. Jede Textur entspricht einem zweidimensionalen 
Bild. Diese zweidimensionalen Bilder werden auf dem 
Bildschirm Obereinander gezeichnet, woraus sich eine 
semi-transparente, dreidimensionale bildliche Darstel- 

20 lung des Korpers ergibt. Die bildliche Darsteliung ist also 
eine Uberlagerung mehrerer zweidimensionaler Bilder, 
von denen jedes einer Textur entspricht, die auf den 
Bildschirm projiziert wird. 

[0036] Im Fa lie eines raumlich aufgelosten Datensat- 

2£ zes, der in kartesischen Koordinaten vorliegt, ist es re- 
lativ einfach, durch Oberlagern einzelner zweidimensio- 
naler Bilder bzw. einzelner Texturen eine dreidimensio- 
nale Darsteliung zu generieren. Das Messvolumen wird 
entlang der Achse, welche am starksten der Betrach- 

30 tungsrichtung entspricht, in zweidimensionale Texturen 
aufgeteilt, das heisst der Datensatz wird in Betrach- 
tungsrichtung als ein Stapel hintereinander liegender, 
zweidimensionaler Texturen interpretiert, die jeweils als 
perspektivisches Rechteck mit der entsprechenden 

35 Textur gezeichnet und uberlagert werden. Die Achse, 
welche der Betrachtungsrichtung am ahnlichsten ist, hat 
z. B die Richtung desjenigen Vektors, dessen Skalar- 
produkt mit dem Richtungsvektor der Betrachtungsrich- 
tung maximal ist. Um bei der Uberlagerung der einzel- 

40 nen Texturen den Effekt der Tiefenabschwachung zu 
berucksichtigen, sind Verfahren bekannt, beispielswei- 
se das sogenannte Alpha-Blending, bei dem jede ge- 
zeichnete Textur die Intensitat der an dieser Stelle be- 
reits vorhandenen Textur um einen Faktor q ab- 

45 schwacht, der kleiner als 1 ist. 

[0037] Die vorangehend beschriebene Vorgehens- 
weise lasst sich jedoch in der Form nicht auf Datensatze 
M(r k ,tfj,Zj,) anwenden, die in nicht-kartesischen Mess- 
Koordinatensystemen vortiegen, weil dann im allgemei- 

50 nen keine Hauptachse, z. B. eine Koordinatenachse, im 
Mess-Koordinatensystem existiert, die in alien Punkten 
des Messvolumens MV der Betrachtungsrichtung am 
ahnlichsten ist. Der Grund hierfur ist, dass in nicht-kar- 
tesischen Koordinatensystemen in der Regel minds- 

55 stens eine Koordinate existiert, deren zugehoriger Ba- 
sisvektor, kartesisch betrachtet, ortsabhangig ist. Bei- 
spielsweise andert in<Jen hier betrachteten Zylinderko- 
ordinaten der zur r-Koordinate gehorige Basisvektor 
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seine Richtung in Abhangigkeit von 
[0038] Im Folgenden wird nun ein bevorzugtes Aus- 
fuhrungsbeispiel des erfindungsgemassen Verfahrens 
beschrieben, mit dem der raumlich aufgeloste Daten- 
satz M(r k ,dj,z f ,), der im nicht-kartesischen Zylinderkoor- 
dinatensystem vorliegt, mittels des Grafikbeschleuni- 
gers 1 visualisiert werden kann. 
[0039] Zunachst wird anhand des Datensatzes M(r k , 
dj.Zj,) fur jede Koordinate r, -d, z ein Satz von Texturen 
angelegt, die entsprechend der jeweiligen Koordinate 
als r-Texturen, fl-Texturen und z-Texturen bezeichnet 
werden. Eine z-Textur wird z. B. generiert, indem alle 
Daten des Datensatzes M(r k ,dj,Zj,), die zu dem gleichen 
Wert der z-Koordinate gehoren, zu einer zweidimensio- 
nalen Matrix zusammengefasst werden, das heisst in- 
nerhalb einer z-Textur hat die z-Koordinate einen kon- 
stanten Wert. Eine solche z-Textur reprasentiert eine 
Flache Fz bzw. eine Schicht des Messvolumens MV, auf 
welcher die z-Koordinate konstant ist, also eine Flache 
Fz bzw. Schicht des Messvolumens MV, die senkrecht 
auf der z-Achse stent. Diese im Folgenden als Koordi- 
natenflache bezeichnete Flache Fz ist in Fig. 3 in einer 
Aufsicht dargestellt. Fur jeden der I diskreten z-Werte 
Z|, zu denen die Daten des Datensatzes Mfr^flj.Zj,) ge- 
horen, wird eine z-Textur TZj angelegt, welche die Form 
einer Matrix TZj=[M(r k ,dj,Zj,)J hat, wobei k von 1 bis p 
lauft, j von 1 bis m und i einen konstanten Wert hat. Die 
Textur Tzj ist in Fig. 3 ebenfalls angegeben, sie umfasst 
k-j Werte des Datensatzes M(r k> ^|,z i ,) > die auch als Pixel 
der Textur bezeichnet werden. Insgesamt werden also 
I solche z-Texturen angelegt, die gemeinsam den Satz 
von z-Texturen bilden. 

[0040] In sinngemass gleicher Weise werden ein Satz 
von r-Texturen, der p Texturen umfasst, namlich f Or je- 
den Wert von k=1 bis k=p jeweils eine, und ein Satz von 
d-Texturen, der m Texturen umfasst, namlich fur jeden 
Wert von j=1 bis j=m jeweils eine, angelegt. Eine r-Tex- 
tur Tr k hat die Form einer Matrix Tr^M^Oj.Zj,)], wobei 
j von 1 bis m lauft, i von 1 bis I und k einen konstanten 
Wert hat. Eine r-Textur umfasst also m-l Daten des Da- 
tensatzes Mfr^dj.Zj,). In Fig. 4 ist zur Veranschauli- 
chung die durch eine r-Textur reprasentierte Koordina- 
tenflache Fr des Messvolumens MV dargestellt und die 
r-Textur Tr k angegeben. Eine 0-Textur T#j hat die Form 
einer Matrix Ttfj=[M(r k ,£j,Zj,)], wobei k von 1 bis p lauft, 
i von 1 bis I und j einen konstanten Wert hat. Eine t3- 
Textur umfasst also p-j Daten des Datensatzes M(r k ,0|, 
Z|,). In Fig. 5 ist zur Veranschaulichung die durch eine 
i>-Textur reprasentierte Koordinatenflache F# des 
Messvolumens MV dargestellt und die tf-Textur T#j an- 
gegeben. 

[0041] Das Anlegen der Texturen erfolgt vorzugswei- 
se im digitalen Signalprozessor (DSP) 3 (Fig. 2) der Da- 
tenverarbeitungsanlage 1. Die Texturen Tr k , T& y Tzj 
werden dann anschliessend an den Grafikbeschleuni- 
ger 1 ubergeben. 

[0042] Haufig ist es der Fall, dass die raumliche Aut- 
losung des Datensatzes M(Zj, r k ) in den drei Koordi- 



natenrichtungenz, d, r sehr unterschiedlich ist. Bei einer 
Ultraschallsonde 1 0, wie sie in Fig. 1 dargestellt ist, kann 
beispielsweise p=256, m=64 und 1=24 sein. Da die Di- 
mensionen des Messvolumens MV in den drei Koordi- 

5 natenrichtungen meist vergleichbar gross sind, resul- 
tiert eine starke Anisotropie der Auflosung, die insbe- 
sondere im Hinblickauf den Rechenaufwand negativ ist. 
Kartesisch betrachtet, variiert namlich die Auflosung in 
Abhangigkeit von der r-Richtung. Da der Korper aber so 

10 abgetastet werden muss, dass auch bei der grobsten 
Auflosung die Abtastpunkte noch genugend dicht tie- 
gen, resuttiert in den feiner aufgelosten Bereichen des 
Korpers eine Uber-Abtastung, die einen unnotigen Re- 
chenaufwand mit sich bring! Ferner kann eine zu hone 

is Auflosung in einer Koordinatenrichtung neben der Er- 
hohung der Rechenzeit auch zu Qualitatsveriusten in 
derzu erzeugenden biidlichen Darstellung fuhren. Wer- 
den beispielsweise 256 r-Texturen Qbereinander lie- 
gend dargestellt und dabei zur Tiefenabschwachung 

20 das Verfahren des Alpha-Blending verwendet, so fuhrt 
dies insbesondere durch Rundungsfehler bedingt zu ei- 
nem nicht unerheblichen Genauigkeitsverlust in der 
Farb- bzw. Helligkeitsinformation fur die Beitrage, die 
von den in der Darstellung am weitesten hinten liegen- 

25 den Daten kommen. Deshalb ist es vorteilhaft, vor dem 
Erzeugen der eigentlichen biidlichen Darstellung die 
Anzahl der Texturen, insbesondere derer, von denen 
sehr viele existieren (hier die r-Texturen), durch eine 
Kompaktierung zu reduzieren. Eine bevorzugte Ausfuh- 

30 rungsform dieser Kompaktierung wird nun anhand der 
r-Texturen und anhand von Fig. 6 erlautert. 
[0043] Zur Kompaktierung der r-Texturen wird jeweils 
eine feste Anzahl q der ursprunglich angelegten r-Tex- 
turen (Quelltexturen QT) auf eine einzige neue r-Textur 

35 (Zieltextur ZT) projiziert. Wahlt man beispielsweise q=4 
oder q=8, reduziert sich die Anzahl p der r-Texturen von 
256 auf 64 bzw. 32. Diese Projektion erfolgt in der Be- 
trachtungsrichtung. Die q Quelltexturen QT werden ent- 
lang eines mittleren Sehvektors SV projiziert. Dieser 

40 Sehvektor SV ist der Vektor, der zwischen die Augen 
des Betrachters zeigt. Die Projektion wird vorzugsweise 
im DSP durchgef uhrt und erfolgt pixelweise. Dabei wird 
jeweils nur der Teil eines Pixels der Quelltextur QT in 
den entsprechenden Pixel der Zieltextur ZT aufgenom- 

45 men, der den Pixel der Zieltextur ZT in Projekt ions rich- 
tung gesehen Oberdeckt. Da der Projekt ionsvorgang 
zweidimensional ist, wird ein Pixel der Quelltextur QT 
jeweils aufgeteilt und zu mehreren, typischerweise vier, 
Pixeln der Zieltextur ZT addiert. Dieser Vorgang wird als 

so bilineare Filterung oder bilineare Interpolation bezeich- 
net. 

[0044] Im Folgenden sind Bezugnahmen auf die Tex- 
turen bzw. auf die Satze von Texturen so zu verstehen, 
dass damit scwoh! die ursprunglichcn Texturen als auch 
55 die aus einer Kompaktierung hervorgegangenen ge- 
meint sein konnen, das heisst es wird nicht mehr zwi- 
schen ursprunglichen Texturen und aus einer Kompak- 
tierung hervorgegangen Texturen unterschieden, weil 
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es fur das weitere Verstandnis unerheblich ist. 
[0045] Da bekannte Grafikbeschleuniger nur ebene 
Polygons rnit Textur zeichnen konnen, wird jede Koor- 
dinate des Mess-Koordinatensystems, die eine ge- 
krummte Linie beschreibt, lokal linearisiert, indem diese 
Koordinate in einern vorgebbaren Raster vereinfacht 
wird. 

[0046] Im Zylinderkoordinatensystem beschreibt die 
Winkelkoordinate eine gekrummte Linie. Dadurch 
sind die Koordinatenflachen, weiche senkrecht auf der 
d-Richtung stehen, nicht mehr durch ebenen Polygons 
begrenzt. Die Koordinatenflachen fur die r-Koordinate, 
weiche durch die r-Texturen beschrieben werden, sind 
gekrummte Vierecke, namlich Teile eines Zylinderman- 
tels (siehe Fig. 4) Die Koordinatenflachen fur die z-Ko- 
ordinate, weiche durch die z-Texturen beschrieben wer- 
den, sind im wesentlichen Kreissegmente, also geome- 
trlsche Flguren, die gekrOmmte Begrenzungslinlen auf- 
weisen (siehe Fig. 3). Solche Flachen, die gekrOmmt 
Oder krummlinig begrenzt sind, konnen aber von heute 
bekannten Grafikbeschleunigern nicht dargesteilt wer- 
den, weil sie nicht durch ein ebenes Polygon begrenzt 
werden. Deshalb wird fur die Darstellung dieser Flachen 
die ^-Koordinate in einem vorgebbaren Raster verein- 
facht, was anhand eines Beispiels fur die Darstellung 
einer r-Textur eriautert werden soil. 
[0047] Fig. 7 zeigt die durch eine r-Textur Tr k repra- 
sentierte gekrummte Flache F des Messvolumens MV, 
die zwei gekrummte Begrenzungslinien A und B auf- 
weist. Die gekrummten Begrenzungslinien A und B, wei- 
che die EckpunkteAl und A4 bzw. B1 und B4 der Flache 
F verbinden, werden jeweils durch einen Streckenzug 
A1 A2 A3 A4 bzw. B1 B2 B3 B4 ersetzt, wobei die Zwi- 
schenpunkte A2.A3 bzw. B3.B4 auf der Begrenzungsli- 
nie A bzw. B. liegen. Die Punkte A1,A2,A3,A4 werden 
jeweils geradlinig miteinander verbunden. Gleiches gilt 
fur die Punkte B1 ( B2;B3,B4. Dies entspricht einer loka- 
len Linearisierung der Koordinate d. Bei der Erzeugung 
der bildlichen Darstellung werden dann anstelle der Fla- 
che Fdrei ebene Vierecke gezeichnet, namlich das Vier- 
eck mit den Eckpunkten A1,A2,B2,B1, das Viereck mit 
den Eckpunkten A2,A3 S B3,B2 und das Viereck mit den 
Eckpunkten A3,A4,B4,B3. In sinngemass gleicher Wei- 
se werden auch die durch die z-Texturen beschriebenen 
krummlinig begrenzten Flachen durch mehrere ebene 
Vierecke approximiert dargesteilt. Es versteht sich, 
dass in der Praxis die Rasterung der tf-Koordinate f einer 
gewahll wird als die hier aus Grunden der Einfachheit 
beschriebene Rasterung mit nur zwei Zwischenpunkten 
A2.A3 bzw. B2,B3. 

[0048] Auf die Texturen bezogen bedeutet die voran- 
gehend beschriebene lineare Aufteilung, dass die Tex- 
turen, die einer gekrummten oder einer krummlinig be- 
grenzten Flache entsprechen. zu ihrer Darstellung je- 
weils in mehrere Subtexturen aufgeteilt werden. In dem 
erlauterten Beispiel wird die r-Textur Tr^ weiche die Fla- 
che F (Fig. 7) reprasentiert, in drei Subtexturen aufge- 
teilt. Die ersten p/3 Spalten der r-Textur Tr k bilden die 



erste Subtextur, die zweiten p/3 Spalten bilden die zwei- 
te Subtextur, und die letzten p/3 Spalten bilden die drrtte 
Subtextur. Z. B. umfasst dann die erste Subtextur der r- 
Textur Tr k die Daten oder Pixel M(r k ,$j,Zi.) mit j=1 bis 

s j=p/3 und i=1 bis i=l. Zur Darstellung der r-Textur Tr k wer- 
den dann die einzelnen Subtexturen von dem Grafikbe- 
schleuniger projiziert, wobei f Or jede Subtextur ein Vier- 
eck als Quellpolygon vorgegeben wird, sodass die 
durch die r-Textur Tr k beschriebene Flache durch drei 

10 Vierecke approximiert dargesteilt wird. 

[0049] Zum Erzeugen der grafischen Darstellung be- 
zuglich der gewunschten Betrachtungsrichtung werden 
dem Grafikbeschleuniger 1 fur jede Textur bzw. jede 
Subtextur die Bildschirmkoordinaten der perspektivisch 

is transformierten Eckpunkte der Textur bzw. Subtextur 
Obermitteit. Der Grafikbeschleuniger 1 zeichnet dann 
die texturierten Polygene perspektivisch korrektauf den 
Bildschirm. Im Falle des hier beschriebenen Datensat- 
zes M(r k ,^,Z|,), der in Zylinderkoordinaten vorliegt, wird 

20 vorzugsweise fur jede Textur bzw. Subtextur ein Viereck 
als Quellpolygon vorgegeben, sodass der Grafikbe- 
schleuniger nur texturierte Vierecke auf den Bildschirm 
projizieren muss. Auf dem Bildschirm werden die ein- 
zelnen Texturen, die jeweils zweidimensionale Bilder 

25 darstellen, uberlagert dargesteilt, sodass sich eine drei- 
dimensionale, semi-transparente bildliche Darstellung 
des abzubildenden Korpers ergibt. 
[0050] Vorzugsweise werden zum Erzeugen der bild- 
lichen Darstellung alle Satze von Texturen herangezo- 

30 gen. Der Grafikbeschleuniger projeziert dazu z. B. alle 
r-Texturen, alle ^-Texturen und alle z-Texturen einander 
uberlagert auf den Bildschirm. Um Storungen wie Strei- 
fenmuster in der bildlichen Darstellung zu reduzieren, 
die daraus resuftieren konnen, dass die einzelnen Fla- 

35 chen nicht parallel zur Bildschirmebene sind, und daher 
an den Randem der Flachen durch eine unterschiedli- 
che Anzahl von Flachen geschaut wird, wird vorzugs- 
weise jede mittels einer Textur generierte Flache der 
bildlichen Darstellung mit einem Faktor gewichtet, in 

40 welchen die Orientierung dieser Flache relativ zur Be- 
trachtungsrichtung eingeht. Eine Moglichkeit hierfur ist 
eine trigonometrische Gewichtung der Flache. Dazu 
wird z. B. fur jede dazustellende Flache die Helligkeit 
der Flache mit einem Faktor multiplziert, welcher das 

45 Quadrat des Skalarprodukts aus dem Normal envektor 
dieser Flache und dem normierten Richtungsvektor der 
Betrachtungsrichtung ist. Da die drei zu den Koordina- 
ten r, , z des Mess-Koordinatensystems gehorenden 
Basisvektoren lokal immer paarweise senkrecht aufein- 

50 ander stehen, hat diese Gewichtung den Vorteil, dass 
die bildliche Darstellung bezOglich ihrer Intensitat bei ei- 
ner Anderung der Betrachtungsrichtung nicht variiert 
und nicht heller wird als z. B. im kartesischen Fall, weil 
die Quadrate aller drei Skalarprodukte aus einem Ba- 

ss sisvektor und dem Richtungsvektor der Betrachtungs- 
richtung in der Summe stets eins ergeben. 
[0051] Naturlich sind auch solche Verfahrensfuhrun- 
gen moglich, bei denen nicht alle Satze von Texturen 
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bzw. nicht alle Texturen zur Erzeugung der bifdlichen 
Darstellung uberlagert werden. Stimmt beispielsweise 
die gewahlte Betrachtungsrichtung zumindest anna- 
hernd mit einer Koordinatenrichtung des Mess-Koordi- 
natensystems Oberein, so ist es grundsatzlich auch 
moglich, nur die zu dieser Koordinate gehorenden Tex- 
turen zum Erzeugen der bildlichen Darstellung zu uber- 
lagern. Ist z. B. die Betrachtungsrichtung im wesentli- 
chen die Richtung der z-Achse (gemass der Darstellung 
in Fig. 1 entspricht dies beispielsweise einem Anblick 
aut das Messvolumen MV von oben Oder von unten), so 
kann die bildiiche Darstellung auch so erzeugt werden, 
dass nur die z-Texturen uberlagert aut den Bildschirm 
projiziert werden. 

[0052] Um einen korrekten Tiefeneindruck in der bild- 
lichen Darstellung zu erzeugen, werden die einzelnen 
Texturen vorzugsweise mit einer Tiefenabschwachung 
versehen dargestellt. HierfOr geeignet sind beispiels- 
weise das Alpha-Blending-Verfahren und das Depth- 
Cueing-Verfahren. 

[0053] Insbesondere in der bevorzugten Verfahrens- 
f uhrung, bei der alle Satze von Texturen, das heisst die 
Texturen aller drei Koordinaten r, z, dargestellt wer- 
den, erfolgt die Tiefenabschwachung vorzugsweise 
nach dem Depth-Cueing-Verfahren, weil die dargesteli- 
ten Texturen dann nicht mehr von hinten nach vorne sor- 
tiert werden mussen. Die Tiefenabschwachung, mit der 
die einzelnen Texturen dargestellt werden, erfolgt vor 
dereigentlichen Projektion der Texturen. Hierzu wirdbe- 
vorzugt zunachstdie Projektion derausseren Hulle des 
Messvolumens MV ermittelt, was relativ einfach ist, 
denn die aussere Hulle des Messvolumens MV ist z. B. 
furdir r-Richtung durch die r-Textur Tr p , also die r-Textur, 
die zum grossten Wert fur r, namlich r^rp, gehort, ge- 
geben. Dann wird fur alle Daten M(r k ,^j l z i ,) des Daten- 
satzes jeweils ermittelt, wie gross in der Betrachtungs- 
richtung der Abstand der einzelnen Daten von der Hulle 
des Messvolumens MV ist. Die Helligkeit bzw. die Inten- 
sitat, mit der die einzelnen Daten dargestellt werden, er- 
gibt sich dann durch eine Gewichtung mit einer Funkti- 
on, die vom Abstand zur Hulle des Messvolumens MV 
abhangig ist, Diese Funktion fur die Tiefenabschwa- 
chung kann beispielsweise eine exponentielle Abnah- 
me mit der Tiefe sein. 

[0054] Gemass einer bevorzugten Ausfuhrungsform 
des erfindungsgemassen Vertahrens, werden die Tex- 
turen, mit denen die bildiiche Darstellung erzeugt wird, 
mit modulierten Abschlussen versehen. Durch diese 
Massnahme lassen sich Storungen in der bildlichen 
Darstellung, die insbesondere auf der diskreten Natur 
der einzelnen projizierten Flachen beruhen, z. B. Strei- 
fenmuster, wirkungsvoll unterdrucken. Da im allgemei- 
nen in der Betrachtungsrichtung die Ecken von projizier- 
ten Texturen. die zum gleichen Satz von Texturen geho- 
ren, nicht mehr ubereinander liegen bzw. nicht mehrmit- 
einader fiuchten, kann es zu Unregelmassigkeiten wie 
Intensitatssprungen in der bildlichen Darstellung kom- 
men, denn in verschiedenen Bildbereichen der Darstel- 



lung ist eine unterschiedliche Anzahl von Texturen die- 
ses Satzes sichtbar. Anders ausgedruckt, schaut der 
Beobachter in verschiedenen Bildbereichen durch eine 
unterschiedliche Anzahl von Texturen. Die hierdurch 
5 verursachten Storungen wie Streifenmuster lassen sich 
durch die Massnahme der modulierten Abschlusse wir- 
kungsvoll unterbinden. Im Folgenden wird anhand von 
Fig. 8 erlautert, wie die modulierten Abschlusse vor- 
zugsweise realisiert werden. 
10 [0055] Die modulierten Abschlusse werden vorzugs- 
weise so realisiert, dass an den jeweils eine Kantenlinie 
bildenden Randern von Texturen, die zum gleichen Satz 
von Texturen gehoren, eine Abschlusstextur als Hulle 
aufgebracht wird. Diese Abschlusstextur verbindet die 
is Rander und bewirkt in der Darstellung eine Modulation 
zwischen benachbarten Kantenlinien. Dies wird nun 
beispielhaft anhand der r-Texturen Tr k erlautert. Es ver- 
steht sich, dass auch die beiden anderen Satze von Tex- 
turen, namlich die tf-Texturen und die z-Texturen, in 
20 sinngemass gleicher Weise mit entsprechenden Ab- 
schlusstexturen abgeschlossen werden konnen. 
[0056] Fig. 8 zeigt die r-Texturen Tr k bis Tr k+3 in einer 
Aufsicht aus der z-Richtung. Aus Grunden der besseren 
Ubersicht und weil es fur das Verstandnis ausreicht, 
25 sind nur vierder insgesamt p r-Texturen dargestellt. Fer- 
ner sind in Fig. 8 die Betrachtungsrichtung durch den 
Pfeil BR, der Beobachter BO und das Mess-Koordina- 
tensystem mit den Koordinaten r,tf,z angedeutet. Die z- 
Achse steht senkrecht auf der Zeichenebene. 
30 [0057] Jede der r-Tekturen Tr k bis Tr k+3 hat einen 
Rand, welcher durch eine in Richtung der z-Achse ver- 
laufende Kantenlinie K.K1.K2 bzw. K3 gebildet wird. In 
der Matrixschreibweise fur die r-Texturen Tr k (siehe Fig. 
4) sind diese Kantenlinien K,K1,K2,K3 die jeweils letz- 
35 ten Spalten der r-Texturen Tr k bis Tr k+3 (bei einer ande- 
ren Festlegung des Mess-Koordinatensystems konnen 
es naturlich auch die ersten Spalten sein). Die Kanten- 
linie K ist also ein Spaltenvektor K=(M(r k ,d m ,Zi)), wobei 
k konstant ist, der Laufindex j fur die 9-Koordinate sei- 
40 nen Maximalwert m hat und i von 1 bis I lauft. Analog ist 
die Kantenlinie K1 ein Spaltenvektor K1=(M(r k+1 ,*6 m> 
Zj)), wobei der Laufindex fur die r-Richtung den konstan- 
ten Wert k+1 hat und i von 1 bis I lauft. In gleicher Weise 
sind K2 und K3 Spaltenvektoren, in denen der Laufindex 
45 fur die r-Koordinate den Wert k+2 bzw. k+3 hat. 

[0058] Die Abschlusstextur AT, welche auf die Kan- 
tenlinien K,K1,K2,K3 aufgebracht wird, ist im wesentli- 
chen gleich der Textur einer zu den r-Texturen Tr k bis 
Tr k+3 senkrechten Ebene, mit dem Unterschied, dass 
so die Abschlusstextur AT mit einer Intensitatsfunktion IS 
moduliert dargestellt wird. Die Intensitatsfunktion IS ist 
eine Sagezahnfunktion, die zwischen den einzelnen r- 
Texturen oszilliert. Auf der dem Beobachter BO zuge- 
wandten Seite einer r-Textur hat die Intensitatsfunktion 
55 is den Wert 0 und steigt dann mit zunehmendem Ab- 
stand vom Beobachter BO linear an bis zum Wert 1 , den 
sie an der nachsten r-Textur erreicht. Dort springt die 
Intensitatsfunktion IS wieder auf den Wert Null usw. Die 
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Abschlusstextur AT steht also senkrecht auf den Ran- 
dern der an sie angrenzenden r-Texturen Tr k bis Tr k+3 , 
ist an diesen Randern idehtisch mit den Kantenlinien K, 
K1 ,K2,K3 und bewirkt eine lineare Interpolation der Hel- 
ligkeit bzw. Intensitat zwischen benachbarten Kantenli- 
nien. Durch diese Massnahme warden Intensitats- 
sprunge und Streifenmuster effizient unterdruckt. 
[0059] Vorzugswelse wird die Abschlusstextur AT ge- 
neriert, indemdie Kantenlinien K,K1,K2,K3 der angren- 
zenden r-Tekturen identisch in die Abschlusstextur AT 
ubemommen werden und vor jederder Kantenlinien K, 
K1,K2,K3 eine Linie der Helligkeit Null bzw. Intensitat 
Null eingef ugt wird. Die Abschlusstextur AT hat dann in 
Matrixschreibweise das foigende Aussehen: 
AT=[...0K0K1 0K2 0K3...] 

wobei 0 ein Spattenvektor mit I Komponenten ist, die alle 
gleich Null sind (l-komponentiger Nullvektor). 
[0060] Ein besonderer Vorteil einer solchen Ab- 
schlusstextur AT ist es, dass der Grafikbeschleuniger 
bei der Darstellung der Abschlusstextur AT aufgrund 
seiner bilinearen Filterfunktion automatisch die ge- 
wunschte Modulation erzeugt. Der Grafikbeschleuniger 
interpoliert bei der Darstellung der Abschlusstextur je- 
weils zwischen einer farblosen Linie, namlich dem Null- 
vektor 0, und der jeweils nachsten Kantenlinien K,K1 ,K2 
Oder K3. Dadurch entspricht die Darstellung der Ab- 
schlusstextur AT auf den Kantenlinien K,K1,K2,K3 je- 
weils der Darstellung der angrenzenden r-Textur Tr k bis 
Tr k+3 und ist senkrecht zu den Kantenlinien K,K1,K2,K3 
linear in ihrer Helligkeit moduliert, sodass die ge- 
wunschte Modulation quasi von selbst entsteht. 
[0061] Besonders vorteilhalt an dieser Art der modu- 
lierten Abschlusse ist, dass die Abschlusstexturen AT 
ohne zusatzlichen Rechenaufwand generierbar sind, 
denn die Abschlusstextur enthalt nur die bereits be- 
kannten Kantenlinien K, K1 , K2, K3 der an sie angrenzen- 
den r-Texturen und die Nullvektoren 0. Somit ist die Ab- 
schlusstextur ohne Rechenaufwand durch einfaches 
Kopieren der Kantenlinien K,K1,K2,K3 und das Einfu- 
gen der Nullvektoren generierbar. Zudem bedarf auch 
die Modulation keines zusatzlichen Rechenaufwands, 
denn sie kann in einfacher Weise durch eine lineare In- 
terpolation realisiert werden. Diese Funktion der linea- 
ren Interpolation, die auch als lineares Shading bezeich- 
net wird, beherrscht jeder Grafikprozessor inharent. 
[0062] Es versteht sich, dass auch an den anderen 
Randern der r-Texturen, also z. B. an den Kantenlinien, 
fur die dj=^ 1 ist, in sinngemass gleicher Weise eine Ab- 
schlusstextur aufgebracht wird. 

[0063] Durch die Erfindung wird also ein besonders 
schnelles Verfahren zur Visualisierung eines raumlich 
aufgelosten Datensatzes M(r k ,i3j 1 z jl ) bereitgestellt, das 
es ermoglicht, aus dem Datensatz Mfr^^Zj,), der z. B. 
ein (256X64X20)-Array ist, mittels heute bekannter, 
handelsOblicher Grafikbeschleuniger in einer so kurzen 
Zeit eine dreidimensionale bildliche Darstellung zu ge- 
nerieren, dass Bildraten von 20 Bildern pro Sekunde 
odermehr realisierbar sind. Somit kann man in den Be- 



reich der Videofrequenzen gelangen. 
[0064] Es versteht sich, dass der Datensatz M(r k ,Oj, 
Zj.) vor, wahrend oder nach seiner Visualisierung zu- 
satzlichen signaltechnischen Bearbeitungen wie bei- 
s spielsweise Filterungen, Verstarkungen, Einfarbungen 
oder Prozeduren zum Berechnen von Beleuchtungsef- 
fekten (Shading-Prozeduren) unterzogen werden kann. 
Zum Berechnen von Beleuchtungseffekten sind bei- 
spiels weise sogenannte Gradienten-Render- Verfahren 
10 wie das Torrance-Verfahren, das Phong-Verfahren oder 
Modifikationen dieser Verfahren geeignet. Diese an sich 
bekannten Verfahren werden dann an das nicht-karte- 
sische Mess-Koordinatensystem angepasst. 
[0065] Mit dem erfindungsgemassen Verfahren las- 
ts sen sich insbesondere Datensatze M(r k ,flj,Zj,), die auf 
Messwerten basieren, welche aus einer volumenaufge- 
losten Abtastung eines Korpers basieren, als dreidi- 
mensionale, semitransparente bildliche Darstellungen 
des Korpers visualisieren. Dabei ist es fOr das erfin- 
20 dungsgemasse Verfahren egal, auf welche Weise oder 
mit welcher Abtastvorrichtung der Datensatz erstellt 
wurde. Es eignet sich also beispielsweise zur Visuali- 
sierung von Ultraschalldaten, tomografischen Daten, 
Rontgen-Daten, Radar-Daten oder Kemspinresonanz- 
25 Daten, die aus einer messtechnischen Abtastung ge^ 
wonnen wurden. 

[0066] Durch seine enorme Schnelligkeit, die auf der 
geztelten und optimalen Nutzung der Fahigkeiten des 
Grafikbeschleunigers beruht, ist das Verfahren insbe- 

30 sondere fur aufwendige Echtzeit-Anwendungen geeig- 
net. Ein spezielles Anwendungsbeispiel aus der Medi- 
zinaltechnik ist das schnelle Generieren dreidimensio- 
naler Darstellungen eines menschlichen Korpers, eines 
Organs oder sonstigen Teilen des menschlichen Kor- 

35 pers anhand von messtechnisch gewonnenen Abtast- 
daten. So ermoglicht das erfindungsgemasse Verfahren 
z. B. eine dreidimensionale "on-line^Einsicht inOrgane. 
[0067] Speziell in der Kardiologie ist es moglich, eine 
kontinuieriiche, stets aktuelle Sicht in das schlagende 

40 Herz eines Patienten zu gewahrleisten, indem transoso- 
phagal erfasste, vol umenaufge lost e Ultraschall- 
messdaten mittels des erfindungsgemassen Verfah- 
rens in Echtzeit in eine dreidimensionale, semitranspa- 
rente Darstellung des Herzens transformiert werden. Da 

45 das erfindungsgemasse Verfahren mit heute bekannten 
Grafikbeschleunigern Bildraten von 20 Bildern pro Se- 
kunde und mehr ermoglicht, sieht der Arzt - bei einer 
entsprechend schnellen Bereitstellung stets aktueller 
Ultraschalldaten - eine dreidimensionale semi-transpa- 

50 rente Darstellung des schlagenden Herzens praktisch 
oder ahnlich wie in einem Film, namlich in einer soge- 
nannten latenzfreien Animation. Dies ermoglicht insbe- 
sondere das Lokalisieren, Navigieren und Positionieren 
von Herzkathetern oder anderen wenig-invasiven In- 

55 strumenten unter kontinuierlicher dreidimensionaler 
Sicht in das Herz. Der Katheter bzw. das Instrument 
kann also on-line im Herzen beobachtet werden. 
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Patentanspruche 

1 . Verfahren zum Visualisieren eines raumlich aufge- 
losten Datensatzes. dessen Daten jeweils einem 
Volumen element zugeordnet sind, dessen Lage 
durch Koordinaten in einem nicht-kartesischen 
Mess-Koordinatensystem beschrieben wird, da- 
durch gekennzeichnet, dass die Daten M(r k ,0j,Zj,) 
als Texturen (Tr kl Td|,TZ|) in einen Grafikbeschleu- 
niger (1) geladen werden und dann durch Oberla- 
gerung von Texturen (Tr k( Tdj,TZj) eine bildliche Dar- 
stellung erzeugt wird. 

2. Verfahren nach Anspruch 1 , bei welchem die Daten 
M(r kl dj,Zi,) im ursprunglichen Mess-Koordinatensy- 
stem in den Gratikbeschleuniger (1) geladen wer- 
den. 

3. Verfahren nach Anspruch 1 oder 2, wobel die Tex- 
turen (Tr k ,Tt>j,TZj) derart an das Mess-Koordinaten- 
system angepasst sind, dass innerhalb einer Textur 
(Tr k ,TOj,TZj) jeweils eine der Koordinaten (r,£,z) des 
Mess-Koordinatensystems einen konstanten Wert 
hat. 

4. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem im Gratikbeschleuniger (1) fur je- 
de Koordinate (r,#,z) des Mess-Koordinatensy- 
stems jeweils ein Satz von Texturen (Tr k ;TOj;TZj) 
angelegt wird, wobei innerhalb der Texturen(Tr k ; 
T#j;TZj), die zum gleichen Satz gehoren, jeweils die 
gleiche Koordinate (r;d;z) des Mess-Koordinaten- 
systems einen konstanten Wert hat. 

5. Verfahren nach Anspruch 4, bei welchem zum Er- 
zeugen der bildlichen Darstellung alle Satze von 
Texturen (Tr k ,T$j,TZj) herangezogen werden. 

6. Verfahren nach einem der vorangehenden Anspru- 
che, wobei eine mittels einer Textur (Tr k ,Ttfj,TZj) ge- 
nerierte Flache der bildlichen Darstellung bezuglich 
Ihrer Intensitat mit einem Faktor gewichtet wird, in 
welchen die Orientierung der Flache relativ zu der 
Betrachtungsrichtung eingeht. 

7. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem Texturen (Tr k ,TZj), die einer ge- 
krummten oder krummlinig begrenzten Flache (F) 
entsprechen, in Subtexturen aufgeteilt werden. 

8. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem die einzelnen Texturen (Tr k ,T#j, 
TZj) mit einer Tiefenabschwachung versehen dar- 
gestellt werden, die insbesondere nach dem Depth- 
Cueing Verfahren realisiert wird. 

9. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem an den jeweils eine Kantenlinie 
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(K,K1 ,K2,K3) bildenden Randern von Texturen (Tr k ; 
Tdj;TZj), die zum gleichen Satz von Texturen geho- 
ren, eine Abschlusstextur (AT) als Hulle aufge- 
bracht wird, welche Abschlusstextur (AT) diese 
5 Rander verbindet und in der Darstellung eine. Mo- 
dulation zwischen benachbarten Kantenlinieri (K, 
K1,K2,K3)bewirkt 

10. Verfahren nach Anspruch 9, bei welchem die Ab- 
to schlusstextur (AT) senkrecht auf den Randern des 

an sie angrenzenden Satzes von Texturen (Tr k ,Tdj, 
TZj) steht; die Kantenlinien (K.K1 ,K2,K3) der an sie 
angrenzenden Texturen (Tr^Ttfj.TZj) enthalt, und 
eine lineare Interpolation der Helligkeit zwischen 
is benachbarten Kantenlinien (K,K1,K2,K3) bewirkt. 

11. Verfahren nach Anspruch 9 oder 10, bei welchem 
die Abschlusstextur (AT) erzeugt wird, Indem die 
Kantentenlinien (K,K1,K2,K3) der angrenzenden 

20 Texturen (Tr k ,Tdj,TZj) identisch in die Abschlusstex- 
tur (AT) ubernommen werden und vor jeder dieser 
Kantenlinien (K,K1,K2,K3) eine Linie der Helligkeit 
Null eingefugt wird. 

25 12. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem das Mess-Koordinatensystem ein 
Zylinder- oder ein Kugelkoordinatensystem ist. 

13. Verfahren nach einem der vorangehenden Anspru- 
30 che, bei welchem der Datensatz M(r k ,f>j,Zj.) auf 

Messwerten basiert, welche die volumenauf geloste 
Abtastung eines Korpers reprasentieren, und bei 
welchem die bildliche Darstellung eine dreidimen- 
sionale, insbesondere semi-transparente, Darstel- 
35 lung des Korpers ist. 

14. Verfahren nach einem der vorangehenden Anspru- 
che, bei welchem der Datensatz M(r k ,tfj,Zj,) auf Ul- 
traschall-Messwerten basiert, welche reprasentativ 

40 fur die dreidimensionale Struktur eines Korpers 
sind. 

15. Verwendung eines Verfahrens gemass einem der 
vorangehenden Anspruche, insbesondere fur me- 

^5 dizinische Zecke, zum schnellen Generieren drei- 
dimensionaler Darstellungen eines Korpers, insbe- 
sondere eines menschlichen Korpers oder Teilen 
davon, anhand von messtechnisch gewonnenen 
Abtastdaten. 

so 
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